用 eBPF 构建分布式 AI 训练集群的实时可观测性平台 本文深入讲解如何利用 eBPF 在操作系统内核层面对分布式 AI 训练任务做零侵入式实时观测,覆盖 GPU 计算间隙、NCCL 通信模式、PyTorch DataLoader 延迟与 GPUDirect Storage 带宽瓶颈四大维度 eBPF入门 2026年10月06日 0 点赞 0 评论 60 浏览
MoE 推理工程深层实战:专家并行、负载均衡、Expert Offloading 与生产级 Serving 从生产环境出发,深入拆解 MoE 推理系统中最棘手的工程挑战——专家并行策略、动态负载均衡、Expert Offloading 机制、以及面向请求调度的完整 Serving 架构。涵盖 DeepSeek-V3 的 256 专家路由机制、三级 Offloading 策略、Expert Affinity Batch Scheduling 等核心工程实践。 网络技术 2026年10月07日 0 点赞 0 评论 27 浏览